home *** CD-ROM | disk | FTP | other *** search
/ EnigmA Amiga Run 1997 April / EnigmA AMIGA RUN 17 (1997)(G.R. Edizioni)(IT)[!][issue 1997-04][EAR-CD].iso / EARCD / comm / www / GrabURL.readme < prev    next >
Text File  |  1997-01-05  |  2KB  |  53 lines
  1. Short:    Utility to recursively download HTTP files.
  2. Author:   emonds@ere.umontreal.ca (Serge Emond)
  3. Uploader: emonds@ere.umontreal.ca (Serge Emond)
  4. Type:     comm/www
  5.  
  6. Requires at least OS 3.0, rexxdossupport.library V2 and AmiTCP 4.0+.
  7.  
  8. Contains 4 things:
  9. 1) GrabHTTP.   Can grab files using the HTTP protocol.  (ARexx host)
  10. 2) UrlManager. Keep a list of urls.  (ARexx host)
  11. 3) ParseHTML.  Scans an HTML file and create a list o urls contained
  12.                it it.
  13. 4) GrabURL.rexx.
  14.  
  15. The #4 uses the 3 other programs to grab one or more url using the HTTP
  16. protocol.  It can collect urls recursively using AmigaDOS patterns,
  17. if file does not already exists on disk, if it has been modified since last
  18. grab (only if remote server supports it), etc.  It can also grab for a
  19. maximum number of byte or time.  It can keep a workfile allowing you to
  20. continue exactly where the grabbing was when it stopped.
  21.  
  22. GrabURL also have many other features.
  23.  
  24. GrabHTTP also have a small GUI (which can be turned off).
  25.  
  26. This is freeware.  The source is ugly and not really optimized (ie I'm sure
  27. it use more memory than necessary) but it works better or faster than any
  28. of the other utilities [of the same kind] I saw on Aminet.  I'm planning to
  29. completely rewrite it (with full internal multitasking & multiple grabs at
  30. once for a single GrabURL running) but I don't have time to do that for
  31. now.
  32.  
  33. Comments are welcome.
  34.  
  35.  
  36. ============================= Archive contents =============================
  37.  
  38. Original  Packed Ratio    Date     Time    Name
  39. -------- ------- ----- --------- --------  -------------
  40.    19956   11335 43.2% 16-Dec-96 12:09:46 +GrabHTTP
  41.    19537    5464 72.0% 18-Dec-96 23:26:38 +GrabURL.rexx
  42.     5092    3097 39.1% 13-Dec-96 22:15:12 +ParseHTML
  43.    10612    5747 45.8% 07-Dec-96 10:50:44 +UrlManager
  44.    30957   10204 67.0% 16-Dec-96 11:52:00 +GrabHTTP.guide
  45.    31672   10754 66.0% 16-Dec-96 12:01:08 +GrabURL.guide
  46.    14472    5393 62.7% 21-Aug-96 14:39:20 +ParseHTML.guide
  47.    20303    6491 68.0% 08-Sep-96 08:20:02 +UrlManager.guide
  48.     1115     572 48.6% 07-Dec-96 10:58:40  Install.txt
  49.      801     478 40.3% 14-Dec-96 11:23:42  WARNING.txt
  50.     1404     784 44.1% 16-Dec-96 12:12:50  GrabURL.readme
  51. -------- ------- ----- --------- --------
  52.   155921   60319 61.3% 19-Dec-96 18:53:28   11 files
  53.